01
Service Mesh 与 vLLM 概述
什么是 Service Mesh(Istio/Linkerd),什么是 vLLM,为什么需要 Service Mesh 管理 vLLM,课程目标与前置知识。
概念入门
02
环境准备
Kubernetes 集群搭建(Minikube/K3s),安装 kubectl 与 Helm,配置本地开发环境。
K8s工具
03
Istio 核心概念
数据平面与控制平面,Envoy 代理,Istiod 组件,流量管理模型。
Istio架构
04
安装 Istio
使用 Istioctl 安装,配置 Profile,验证安装状态。
安装运维
05
部署 vLLM 服务
编写 Deployment 与 Service YAML,配置 GPU 资源,暴露服务端口。
vLLMYAML
06
Sidecar 注入
手动注入与自动注入,Namespace 标签,验证 Sidecar 运行状态。
Sidecar注入
07
流量管理基础
VirtualService 与 DestinationRule,路由规则配置,权重分配。
流量路由
08
金丝雀发布
配置 vLLM 版本 A/B,逐步切换流量,回滚策略。
发布金丝雀
09
灰度发布与蓝绿部署
基于 Header 的灰度,蓝绿切换实现,实际案例。
灰度蓝绿
10
熔断与重试
Circuit Breaker 配置,连接池设置,重试策略与超时控制。
熔断高可用
11
负载均衡
Round Robin、Least Request、Random,会话保持。
负载均衡流量
12
可观测性之指标
Prometheus 集成,Istio 指标(请求数、延迟、错误率),Grafana 仪表盘。
监控Prometheus
13
可观测性之日志
访问日志配置,日志格式自定义,ELK/Fluentd 集成。
日志ELK
14
可观测性之链路追踪
Jaeger/Zipkin 集成,分布式追踪,vLLM 请求追踪。
追踪Jaeger
15
安全之 mTLS
自动 mTLS,PeerAuthentication 配置,严格模式与宽容模式。
安全mTLS
16
安全之授权
AuthorizationPolicy,RBAC 模型,基于 JWT 的认证。
授权RBAC
17
Ingress 网关
Istio Ingress Gateway 配置,HTTPS 证书管理,域名路由。
网关HTTPS
18
Egress 流量控制
ServiceEntry 配置,外部 API 访问,流量镜像。
Egress流量
19
多集群部署
跨集群通信,Split Horizon EDS,联邦模型。
多集群联邦
20
vLLM 性能优化
GPU 利用率监控,请求批处理,模型并行策略。
性能GPU
21
限流与配额
Rate Limiting 配置,内存配额,并发控制。
限流配额
22
故障注入
延迟注入,异常注入,混沌工程实践。
混沌测试
23
Istio 与 Knative 集成
Serverless vLLM,自动扩缩容,冷启动优化。
ServerlessKnative
24
Istio 与 KEDA 集成
基于指标的自动伸缩,GPU 指标驱动。
KEDA自动伸缩
25
Istio 与 Prometheus Adapter
自定义指标 HPA,vLLM 请求队列长度。
HPA指标
26
Istio 与 ArgoCD
GitOps 部署,持续交付流水线,回滚自动化。
GitOpsArgoCD
27
Istio 与 Cert-Manager
自动证书管理,Let's Encrypt 集成。
证书CertManager
28
生产环境最佳实践
资源限制,高可用配置,备份与恢复。
生产最佳实践
29
故障排查
常见问题(Sidecar 崩溃、路由不生效、证书错误),调试工具(istioctl analyze、kubectl logs)。
调试故障
30
项目总结与展望
课程回顾,Service Mesh 未来趋势,vLLM 与 AI 基础设施演进。
总结展望